并行推理
  1. 首页
  2. 并行推理

列表

DistriFusion

DistriFusion

DistriFusion是一个专为加速高分辨率扩散模型在多GPU环境中生成图像的分布式并行推理框架。通过将图像分割成多个小块并分配至不同设备上进行独立处理，它能够在不增加额外训练负担的情况下，将推理速度提升高达六倍，同时保持图像质量。其技术原理包括Patch Parallelism（分片并行）、异步通信、位移补丁并行性等，适用于多种现有的扩散模型。应用场景包括AI艺术创作、游戏和电影制作、VR/A
AI项目与工具 2025年06月12日
Mini

Mini

Mini-Omni 是一个开源的端到端语音对话模型，具备实时语音输入和输出的能力，能在对话中实现“边思考边说话”的功能。模型设计无需额外的自动语音识别（ASR）或文本到语音（TTS）系统，直接进行语音到语音的对话。Mini-Omni 采用文本指导的语音生成方法，通过批量并行策略提高性能，同时保持了原始模型的语言能力。它支持实时语音交互、文本和语音并行生成、跨模态理解等功能，适用于智能助手、客户服务
AI项目与工具 2025年06月12日
CLEAR

CLEAR

CLEAR是一种由新加坡国立大学推出的新型线性注意力机制，能够有效提升预训练扩散变换器生成高分辨率图像的效率。该机制通过局部注意力窗口和知识蒸馏技术，实现了线性复杂度，显著减少了计算量和时间延迟，同时保持了高质量的图像生成效果。CLEAR还支持跨模型泛化、多GPU并行推理以及稀疏注意力优化，广泛适用于数字媒体创作、虚拟现实、游戏开发等多个领域。
AI项目与工具 2025年06月12日